KVServe: Service-Aware KV Cache Compression for Communication-Efficient Disaggregated LLM Serving
KVServe：面向通信效率的拆解式LLM服务中服务感知KV缓存压缩
🧭 LLM推理优化 · KV缓存压缩 · 拆解式服务
University of Chinese Academy of Sciences · Institute of Computing Technology, Chinese Academy of Sciences · Shanghai Jiao Tong University
首个服务感知的自适应KV缓存压缩框架，通过贝叶斯搜索与在线控制实现动态策略选择，显著降低拆解式推理的通信延迟。
📌 工作参考价值（4 点）
- 电商/推荐系统若采用PD分离或KV拆解的LLM推理，可借鉴KVServe的“离线Pareto候选生成+在线bandit选择”模式，用轻量控制器动态匹配请求的时延/吞吐/质量约束，避免静态配置导致SLO违规。
- 自适应压缩思想可迁移到生成式推荐中的Embedding或特征传输压缩：根据网带宽、查询复杂度和延迟预算等上下文，动态切换量化/稀疏化/选择策略，而非固定一种压缩方法。
- 贝叶斯Profiling Engine通过全局探索+局部细搜+3D Pareto剪枝的方式大幅降低搜索开销（50×），在推荐系统的超参或策略组合爆炸场景中，可用于快速生成高质量候选配置集。
- 在线控制中的“分析模型+bandit”机制可迁移到Agent多智体通信优化：为Agent间的消息大小、压缩等级建立延迟预测模型，结合多臂老虎机上探索，在满足延迟目标下最大化通信效率。